Sinh ra tại Los Angeles, California, Jolie là con gái của diễn viên Jonathan Vincent "Jon" Voight và Marcheline Bertrand. Jolie là em gái của diễn viên James Haven và là cháu gái của ca sĩ kiêm nhạc sĩ Chip Taylor.[1] Cha mẹ đỡ đầu của cô, Jacqueline Bisset và Maximilian Schell cũng là diễn viên.[2] Về phía cha, Jolie có nguồn gốc từ Đức và Slovakia.[3][4] Về phía mẹ, cô có gốc gác từ người Canada gốc Pháp, người Hà Lan và Đức.[3] Jolie mang dòng máu Iroquois từ mẹ,[5] mặc cho tổ tiên bản địa duy nhất được biết đến của cô là những người Huron thế kỷ XVII.[3][6]

Khi bố mẹ li dị vào năm 1976, Jolie và anh trai sống với mẹ, người đã từ bỏ ước mơ làm diễn viên của chính mình để chuyển đến Palisades, quận Rockland, New York cùng hai con.[7] Từ khi là một đứa trẻ, Jolie thường xuyên xem phim cùng mẹ và sau này, cô cho biết rằng chính những buổi xem phim ấy đã đánh thức niềm đam mê làm diễn viên trong cô mà không chịu ảnh hưởng nào từ cha,[8] mặc cho cô từng tham gia một vai nhỏ trong Lookin' to Get Out (1982) của Voight.[9] Khi Jolie sáu tuổi, mẹ và cha dượng cô, nhà làm phim Bill Day, chuyển gia đình đến sống tại Palisades, New York;[10] và chuyển về lại Los Angeles vào 5 năm sau đó[7]. Khi đó, Jolie quyết định rằng cô muốn trở thành diễn viên và theo học tại Học viện Điện ảnh và Sân khấu Lee Strasberg. Tại đây, cô được đào tạo trong hai năm và xuất hiện trong vài vở kịch.

Khi còn là học sinh của Trường trung học Beverly Hills, cô thường có cảm giác bị cô lập vì những đứa trẻ khác là con của những gia đình giàu có trong vùng. Mẹ của Jolie lúc này có thu nhập thấp hơn trước và Jolie thường phải mặc những quần áo đã qua sử dụng. Cô thường bị các học sinh khác trêu chọc vì có những nét khác người, vì quá gầy, vì mang kính và niềng răng.[8] Sự tự tin của cô lại giảm xuống khi những nỗ lực đầu tiên để trở thành một người mẫu thời trang không thành công.[11][12] Sau khi chuyển đến Trường trung học Moreno,[11] cô thường mặc áo quần màu đen và bắt đầu chơi dao lúc ở cùng bạn trai.[8] Cô bỏ lớp diễn xuất và mong muốn trở thành một giám đốc tang lễ,[9] khi tham gia một vài lớp học ướp xác tại nhà.[13] Năm 16 tuổi, sau khi kết thúc mối tình cùng bạn trai, Jolie tốt nghiệp trung học và thuê một căn hộ cách nhà mẹ cô vài khu phố, trước khi trở lại sự nghiệp sân khấu.[7][11] Cô nhắc lại về khoảng thời gian này rằng "Tận trong tim, tôi vẫn luôn luôn là một đứa trẻ xấu với các hình xăm".[14]

Ở tuổi thiếu niên, cô gặp khó khăn trong việc chia sẻ cảm xúc cùng mọi người. Cô bắt đầu tự cắt vào người mình;[15] sau này cô cho biết: "Tôi có nhiều dao và luôn có những thứ như vậy xung quanh. Vì vài lý do, nghi lễ tự cắt vào người và cảm nhận nỗi đau, có khi là cảm nhận sự sống, cảm nhận điều gì đó như sự giải thoát, là một cách chữa trị đối với tôi."[16] Cô còn phải vật lộn với chứng mất ngủ và rối loạn ăn uống,[13] đồng thời sử dụng ma túy; khi 20 tuổi, cô sử dụng "mọi loại ma túy có thể", đặc biệt là bạch phiến.[17] Jolie trải qua nhiều giai đoạn trầm cảm và hai lần có ý định tự tử—vào năm 19 và 22 tuổi, khi cô dự định thuê một tay sát thủ để giết chính mình.[9] Ở tuổi 24, cô tiếp tục gặp phải một đợt khủng hoảng tinh thần và đưa vào bệnh viện tâm thần của UCLA Medical Center trong 72 giờ đồng hồ.[9] 2 năm sau, Jolie tìm lại sự ổn định trong cuộc sống khi nhận nuôi đứa con đầu lòng, khẳng định rằng "Tôi biết một khi đã chịu trách nhiệm với Maddox, tôi không thể nào tự hủy hoại đời mình được nữa."[18]

Jolie bị cha ghẻ lạnh trong nhiều năm, khi Voight rời bỏ gia đình lúc cô chưa đầy một tuổi.[19] Cô chia sẻ rằng thời gian cả hai bên nhau từ đó khá ít ỏi và thường phải xuất hiện trước giới truyền thông.[20] Họ cố gắng hòa giải và cùng xuất hiện trong Lara Croft: Tomb Raider (2001),[7] nhưng mối quan hệ giữa họ lại lần nữa đổ vỡ.[7] Vào tháng 7 năm 2002, Jolie đệ đơn yêu cầu đổi tên hợp pháp của mình thành "Angelina Jolie", bỏ họ Voight trong tên và chính thức mang tên mới từ ngày 12 tháng 9 năm 2002.[21] Tháng 8 cùng năm, Voight tuyên bố rằng con gái ông "có vấn đề nghiêm trọng về thần kinh" trong chương trình Access Hollywood.[22] Vào lúc đó, cả mẹ và anh trai của cô đều cắt đứt liên lạc cùng Voight.[23] Sau 6 năm bất hòa,[24] cả hai làm lành khi Jolie bị thức tỉnh sau cái chết của mẹ do căn bệnh ung thư buồng trứng vào ngày 27 tháng 1 năm 2007,[23][25] trước khi công bố về cuộc đoàn tụ giữa họ vào 3 năm sau đó.[23]